隨著人工智慧（AI）技術普及，兒童網路安全面臨新威脅，尤其AI生成式深偽（deepfake）技術的濫用，已導致高達一成的未成年人曾製作同學的深偽圖像，對兒童名譽造成嚴重損害，使家長與執法單位難以有效應對。
隨著人工智慧（AI）技術飛速發展，儘管在醫療數據分析、商業物流優化及課堂學習支援等領域帶來進步，但也為兒童網路安全帶來前所未有的挑戰。除了螢幕使用時間過長、網路霸凌、潛在掠奪者等既有風險，AI生成式技術的濫用已引發各界高度關注。
人工智慧工具能幾乎即時生成圖像、影片與對話，且往往缺乏直接的人為監督與控制。例如，社群媒體平台X旗下的AI工具Grok，便能透過X或獨立應用程式供年幼兒童使用，使其輕易接觸AI技術。令人憂慮的是，有報導指出，AI技術已被用來未經同意地製作性暗示圖像，甚至包括兒童色情內容。
兒童安全倡議人士對涉及兒童及青少年的AI生成深偽（deepfake）色情內容日益增加，發出嚴峻警告。根據THORN組織於2024年中發布的一份報告顯示，當時高達十分之一的未成年人曾利用生成式AI工具，為同學製作深偽圖像。自那之後，生成式AI工具的應用範圍持續擴大，普及性也顯著提升，預計製作深偽圖像的未成年人數量可能進一步增加。
這些深偽圖像僅需透過社群媒體上的普通照片，即可在數秒內被其他使用者惡意篡改為具貶義的內容。一旦這類竄改後的圖像在同學或網路社群中流傳，兒童的名譽將迅速受損，並可能導致羞辱、騷擾甚至脅迫。對於家長而言，追蹤並移除已在多個平台傳播的竄改圖像，是一項極其艱鉅的任務。
執法機構也正努力應對這項快速演進的技術所帶來的挑戰。現行關於剝削與騷擾的法律，大多是在AI工具尚未能大規模生成此類內容前制定，因此在適用上遭遇瓶頸。政策制定者正研議如何有效處理這些新興技術，目前雖已有法律懲罰製作兒童AI色情內容的行為，但對於阻止平台使用兒童圖像的問題，進展仍有限。
俄克拉荷馬兒童權益研究所（Oklahoma Institute for Child Advocacy, OICA）正與政策制定者合作，確保法律能夠跟上兒童與家庭所面臨的現實，尤其在網路安全立法方面。儘管數位世界不斷變遷，保護兒童的責任始終如一，需要家長、教育工作者、立法者與社群領袖共同努力。